The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

生物医学图像分析算法验证取决于参考数据集的高质量注释，标记指令是关键。尽管它们的重要性，但他们的优化仍然没有得到探索。在这里，我们介绍了对标签指令及其对该领域注释质量的影响的首次系统研究。通过对Miccai协会注册的专业实践和国际比赛的全面检查，我们发现了注释者对标签说明的标签需求及其当前质量和可用性之间的差异。基于对156家专业公司的156个注释者和708个亚马逊机械土耳其人（MTURK）人群的注释者的14040张图像的分析，使用具有不同信息密度级别的说明，我们进一步发现，包括示例性图像与文本描述，唯一的描述，示例性图像显着增强了注释性能，虽然仅扩展文本说明并非如此。最后，专业注释者不断优于mturk人群。我们的研究提高了对生物医学图像分析标签指令中质量标准的需求的认识。

自动生物医学图像分析的领域至关重要地取决于算法验证的可靠和有意义的性能指标。但是，当前的度量使用通常是不明智的，并且不能反映基本的域名。在这里，我们提出了一个全面的框架，该框架指导研究人员以问题意识的方式选择绩效指标。具体而言，我们专注于生物医学图像分析问题，这些问题可以解释为图像，对象或像素级别的分类任务。该框架首先编译域兴趣 - 目标结构 - ，数据集和算法与输出问题相关的属性的属性与问题指纹相关，同时还将其映射到适当的问题类别，即图像级分类，语义分段，实例，实例细分或对象检测。然后，它指导用户选择和应用一组适当的验证指标的过程，同时使他们意识到与个人选择相关的潜在陷阱。在本文中，我们描述了指标重新加载推荐框架的当前状态，目的是从图像分析社区获得建设性的反馈。当前版本是在由60多个图像分析专家的国际联盟中开发的，将在社区驱动的优化之后公开作为用户友好的工具包提供。

机器学习方法利用多参数生物标志物，特别是基于神经影像动物，具有改善痴呆早期诊断的巨大潜力，并预测哪些个体存在发展痴呆的风险。对于机器学习领域的基准算法和痴呆症中的神经影像症，并评估他们在临床实践中使用的潜力和临床试验，七年的大挑战已经在过去十年中组织：Miriad，Alzheimer的疾病大数据梦，Caddementia，机器学习挑战，MCI神经影像动物，蝌蚪和预测分析竞争。基于两个挑战评估框架，我们分析了这些大挑战如何互相补充研究问题，数据集，验证方法，结果和影响。七个大挑战解决了与（临床前）痴呆症（临床）痴呆症的筛查，诊断，预测和监测有关的问题。临床问题，任务和性能指标几乎没有重叠。然而，这具有提供对广泛问题的洞察力的优势，它也会限制对挑战的结果的验证。通常，获胜算法执行严格的数据预处理并组合了广泛的输入特征。尽管最先进的表演，但临床上没有挑战评估的大部分方法。为了增加影响，未来的挑战可以更加关注统计分析，对其与高于阿尔茨海默病的临床问题，以及使用超越阿尔茨海默病神经影像疾病的临床问题，以及超越阿尔茨海默病的临床问题。鉴于过去十年中汲取的潜力和经验教训，我们在未来十年及其超越的机器学习和神经影像中的大挑战前景兴奋。

尽管自动图像分析的重要性不断增加，但最近的元研究揭示了有关算法验证的主要缺陷。性能指标对于使用的自动算法的有意义，客观和透明的性能评估和验证尤其是关键，但是在使用特定的指标进行给定的图像分析任务时，对实际陷阱的关注相对较少。这些通常与（1）无视固有的度量属性，例如在存在类不平衡或小目标结构的情况下的行为，（2）无视固有的数据集属性，例如测试的非独立性案例和（3）无视指标应反映的实际生物医学领域的兴趣。该动态文档的目的是说明图像分析领域通常应用的性能指标的重要局限性。在这种情况下，它重点介绍了可以用作图像级分类，语义分割，实例分割或对象检测任务的生物医学图像分析问题。当前版本是基于由全球60多家机构的国际图像分析专家进行的关于指标的Delphi流程。

Generally, microscopy image analysis in biology relies on the segmentation of individual nuclei, using a dedicated stained image, to identify individual cells. However stained nuclei have drawbacks like the need for sample preparation, and specific equipment on the microscope but most importantly, and as it is in most cases, the nuclear stain is not relevant to the biological questions of interest but is solely used for the segmentation task. In this study, we used non-stained brightfield images for nuclei segmentation with the advantage that they can be acquired on any microscope from both live or fixed samples and do not necessitate specific sample preparation. Nuclei semantic segmentation from brightfield images was obtained, on four distinct cell lines with U-Net-based architectures. We tested systematically deep pre-trained encoders to identify the best performing in combination with the different neural network architectures used. Additionally, two distinct and effective strategies were employed for instance segmentation, followed by thorough instance evaluation. We obtained effective semantic and instance segmentation of nuclei in brightfield images from standard test sets as well as from very diverse biological contexts triggered upon treatment with various small molecule inhibitor. The code used in this study was made public to allow further use by the community.

域的适应性引起了极大的兴趣，因为标签是一项昂贵且容易出错的任务，尤其是当像素级在语义分段中需要标签时。因此，人们希望能够在数据丰富并且标签精确的合成域上训练神经网络。但是，这些模型通常在室外图像上表现不佳。为了减轻输入的变化，可以使用图像到图像的方法。然而，使用合成训练域桥接部署领域的标准图像到图像方法并不关注下游任务，而仅关注视觉检查级别。因此，我们在图像到图像域的适应方法中提出了gan的“任务意识”版本。借助少量标记的地面真实数据，我们将图像到图像翻译指导为更合适的输入图像，用于培训合成数据（合成域专家）的语义分割网络。这项工作的主要贡献是1）一种模块化半监督域适应方法，通过训练下游任务Aware Cycean，同时避免适应合成语义分割专家2）该方法适用于复杂的域适应任务3）通过使用从头开始网络进行较不偏见的域间隙分析。我们在分类任务以及语义细分方面评估我们的方法。我们的实验表明，我们的方法比仅使用70（10％）地面真实图像的分类任务中的准确性优于标准图像到图像方法 - 准确性的准确性7％。对于语义细分，我们可以在训练过程中仅使用14个地面真相图像，在均值评估数据集上，平均交叉点比联合的平均交叉点约4％至7％。

本文通过讨论参加了为期三年的SubT竞赛的六支球队的不同大满贯策略和成果，报道了地下大满贯的现状。特别是，本文有四个主要目标。首先，我们审查团队采用的算法，架构和系统；特别重点是以激光雷达以激光雷达为中心的SLAM解决方案（几乎所有竞争中所有团队的首选方法），异质的多机器人操作（包括空中机器人和地面机器人）和现实世界的地下操作（从存在需要处理严格的计算约束的晦涩之处）。我们不会回避讨论不同SubT SLAM系统背后的肮脏细节，这些系统通常会从技术论文中省略。其次，我们通过强调当前的SLAM系统的可能性以及我们认为与一些良好的系统工程有关的范围来讨论该领域的成熟度。第三，我们概述了我们认为是基本的开放问题，这些问题可能需要进一步的研究才能突破。最后，我们提供了在SubT挑战和相关工作期间生产的开源SLAM实现和数据集的列表，并构成了研究人员和从业人员的有用资源。

本文记录了伊图哥本哈根（ITU Copenhagen）生产的法罗伊斯（Faroese）和丹麦（Faroese）之间的句子对数据集。数据涵盖了两种源语言的tranlsation，旨在用作此语言对的机器翻译系统的培训数据。

与人类类似，动物的面部表情与情绪状态紧密相关。但是，与人类领域相反，动物面部表情对情绪状态的自动识别是没有充满反应的，这主要是由于数据收集和建立地面真相的困难，涉及非语言用户的情绪状态。我们将最近的深度学习技术应用于在受控的实验环境中收集的数据集上对狗的挫败进行分类和（负面）的挫败感。我们探索在此任务的不同监督下不同骨干（例如，重新连接，VIT）的适用性，并发现自我监督的预定的VIT（DINO-VIT）的特征优于其他替代方案。据我们所知，这项工作是第一个解决对受控实验中获得的数据自动分类的任务。